AI与风险治理（下）|「AI伦理与治理」系列3期实录
本文为未来论坛AI伦理与治理系列03期——《AI与风险治理》实录稿，共分主题报告和圆桌讨论两个部分，今天分享的是北京师范大学法学院教授汪庆华、华东师范大学人类学研究所教授黄剑波、百度副总裁马杰、蚂蚁集团副总裁漆远、西安交通大学电子与信息学部教授沈超 共同参与的圆桌讨论实录。点击观看上半部分主题报告实录。
导语 / Introduction
第三期活动的主题是AI与风险治理，人工智能驱动的经济和社会发展模式正由无所不在的数据和算法催生而出，它不仅启动了社会助理治理与进步的加速器，也引发了业界和社会对人工智能风险治理的关注和思考。缺乏可信可靠的人工智能可能成为风险的源头，但是可信、可靠、可解释的人工智能，同时能成为风险时代、数字时代、风险防御和治理的核心力量。
人工智能自身面临风险，同时也能帮助我们解决和应对风险。这一期我们邀请了人工智能法律、人类学学者以及自动驾驶和金融科技企业代表，一同探索人工智能与风险治理的关系，这是后疫情时代稳定和发展的重要命题。
议题讨论
议题一：作为现代科技，AI一方面可以控制风险，但同时也带来了风险。当AI进入日益深入社会各个应用时，整体上的风险到底是加大了还是减少了？
@黄剑波
现代社会的风险在程度和表现方面确实是史无前例的，在这个意义上讲，我完全同意贝克的分析。但同时我仍然坚持道格拉斯的分析路线——风险根本上是人类的问题。
第一，AI所代表的新技术、新的场景所带来的风险，它量的大小，其实很难具体进行量化。也许可以做一系列对比，但是在我看来，更重要的问题也许不是量的大小，而是类别的不同，或者说表达的不同。技术力量越大，就会发现它被操纵后的破坏力也就越大。所谓的冷兵器时代，一个人力量大可能也就杀几个人；可是进入到新的武器时代，如果某个人本身出了问题，他可以产生巨大的伤害。
第二，系统看起来越稳定、越强大，但是当它崩塌以后的后果就更严重，因为我们全部都依靠它。我今天所谈的内容可能是一个常识性的问题，是一种对人和人性的警醒和提醒，但对各位来说，其实根本不需要。我始终觉得，总会有所为科学狂人的存在，我们对弗兰克斯坦这样一个怪兽的出现始终是心存畏惧的，所以有时候常识的意思是我们需要常常谈到，让我们有所警醒。
@马杰
风险是变大了吗？我的观点是，风险一定是变大的。技术工作者最重要的一件事情是要对人类、对技术本身，保有敬畏性。
我觉得技术工作者最重要的一件事情是要对人类、对技术本身，保有敬畏性，这应该时常记在心中。但是从技术人的角度来讲，我们还是坚信技术能给社会带来福利。世界第一辆汽车诞生之初，坐马车的人视汽车为洪水猛兽，对汽车带有歧视性的法律相继出台，汽车与马车间的战争持续了数十年，最终，汽车这个新生事物战胜了落后的马车，发展至今成为人类重要的交通工具，我们不再否认汽车给我们带来的价值。未来，没有马车夫的马车会带来什么样的变化，我们相信它会带来很大的价值，因为能给我们创造更多的价值，所以才会有这么多人去推动它。我觉得这是它的逻辑，要不技术不会凭空冒出来，肯定是先给我们带来了我们可以看到的或者潜在的收益才去推动，做完以后发现问题，我们可以再去解决。
回到问题上来：风险是变大了吗？我的观点是，风险一定是变大的。但是我们谈一个问题的风险时，也要谈它的收益率。我们推动一个技术的时候，考量的是，给人类带来更多的风险、还是更多的收益。从风险收益比上讲，技术给我们带来更多的收益，且远远大于它可能带来的风险，只是在一个事物的早期更容易看到风险，长线更容易看到收益。当然，在这个过程中我们要保持敬畏心去解决它的问题。
@沈超
AI引入了原来没有的风险，但是不能刻意放大这些风险。
从技术方面来看，AI是一把双刃剑，它在现在各个场景应用之中都极大提升了生产效率。在很多行业之中，AI使生活变得更加简单、效率得到极大提升，这是毋庸置疑的。但是从技术角度来看，AI引入了原来没有的风险。随着任何新技术的引入，它都会一定的新问题出现，这必然存在，因为新技术的发生，从安全来看，它一定有一个安全问题的大爆发；随着时间的推移，安全问题会慢过风险，逐渐降低。现阶段AI仍在蓬勃发展，在各领域都有很多的应用，虽然风险很多，但是不能刻意放大这些风险。因为有很多技术人员也都是在这个方向努力，希望发现这些风险，然后再将其解决。这和事物的发展规律是一致的，比如操作系统出来的时候也产生很多问题，我们每天都打补丁，但慢慢地补丁越来越少，证明这个系统会变得比较鲁棒。我个人觉得，随着时间的推移，风险会比以前小。
议题二：在人工智能时代，万物皆可计算，但机器学习是否能够算出风险发生的概率？
@黄剑波
风险在很大程度上，除了可以计算，但是也具有不可计算性。它显然不仅仅是概率计算问题，还要回到社会维度甚至人类的认知或人性的维度。
现在有两种路子，一种是以奈特为代表的理性经济的一种思路，另一种是社会学的思路。这两个思路都是有张力的，所以才使得我们在一起讨论，或者说寻找一种可能的方向。在我看来，风险当然是可以计算概率的，因为完全否定这么多数学家、科技专家们的价值是不可能的，而且肯定也可以做出巨大的贡献和可能，我们可以去计算它的风险收益。
再次强调，风险在很大程度上，除了可以计算，但是也具有不可计算性。在有些话题上，它不是一个简单的计算问题或者是数学问题，也不是简单的理性问题。第一，当我们进行计算的时候，其实我们是有一些理性的角色在里面的，理性的角色包括人是一个理性的人，我们所做的举动都是理性的。事实上会发现，很多时候我们并是理性。第二，现在很多假定不光是理性的人，还是一个个体的人，也就是说我们做决定似乎是我们自己独立做的决定，似乎每一个人都有自觉权、自主权，这是现代人特别有意思的一个看法，这也是我为什么在题目中讲到幻象，幻象的意思是不是风险是假的，幻象的意思是人以为自己是一个现代意义上的理性人，是一个自主的人，但是在我们看来，大量决定的第一步是纯理性，其实也不是个人性的，看起来是个人做的决定，但实际是广义的制度已经帮你做了决定。这个意义上来讲，这显然不仅仅是概率计算问题，还要回到社会维度甚至人类的认知或人性的维度。
在数据的抓取过程中，人类面临很多挑战，数据抓取不光是数据可不可信的问题，根本上来说，会发现我们的数据其实是把人从具体的环境、场景，特别是人和人的社会环境当中剥离出来的。换句话说，进行数据抓取时，我们在抓取具体的、非常极端细化的数据，甚至几点干什么或者购买习惯，总之是某一个方面的数据。此外，就算这些数据是孤零零的个人数据，我们的技术手段会做一些努力，试图把它还原成为一个整体的人以及整体的生活场景，但今天我们仍然没有完全解决这个问题，这些被处理地数据实际上是个体的数据和抽离的数据。当我们从前端的数据输入、到后来的分析到最后产生了一个结果，就会发现，最后出现的“羊”并不等于是最开始的羊，二者仍然有距离。从这个意义上讲，道格拉斯的研究让我们重提关于风险的感知角度，特别是对现代社会个体主义、个人主义的假设的反思，我们需要重提群体生活、重提人的社会性、人的群体性，我们在抓取这些数据的时候，其实还是要回归它的整体社会环境。
@汪庆华
问题在于在新技术引进时怎么样防止系统性风险的发生，这是现在讨论人工智能风险时需要注重的一个新的视角。
风险其实是具有社会维度的现象，在我们进入人工智能时代时，不只是风险大小或者是风险概率能不能测算的问题，可能本质上是关于风险的性质发生了实质性的变化。在传统社会甚至工业社会中，风险可能是偶发性的，比如自然灾害。在后工业时代，贝克提出了风险社会的概念。到了今天，当人工智能广泛深入应用时，可能这种风险在传统意义上，其实这个风险是降低的，包括自动驾驶技术的应用和推广，相对于传统的驾驶模式来说，发生交通事故的概率降低了很多，否则这个技术也不可能取得如此广泛的商业应用。而且，全世界的科学家都在探索怎么样从辅助自动驾驶的阶段推进到完全的自动驾驶的阶段。
借助于人工智能的决策，相对于人类的自我决策，它其实可以降低事故率发生。因为现有的事故大多数是因为驾驶人员疲劳驾驶，可能不遵守交通规则，但是在自动驾驶的场景之下，这些情况可能都不会发生。但是自动驾驶还是发展中的技术，一旦出了事故之后，往往会占据报纸的头条，实际上相对于传统的交通模式，新技术的发展降低了风险，降低了事故率，为什么还要探讨风险的问题？那是因为风险的形态发生了变化，它可能变成了系统性风险，可能是呈现一种新的场景下算力系统的风险，这时候我们所有的努力都在于在新技术引进时怎么样防止系统性风险的发生，这是现在讨论人工智能风险时需要注重的一个新的视角。其实是系统风险防范的问题，所有的问题从根本上都是划定底线，还是用技术的问题来解决技术的风险。所以本质上它是一个技术问题，技术赋能当然会带来风险，但一定不要夸大这个风险。
@马杰
从大范围来讲，风险总体的概率是可以计算的；但是，对于具体的安全问题，风险其实不可计算，要以敬畏心以及认真对待每一个可能出现的小概率风险。
在风险计算上，从大范围来讲，总体的概率是可以计算的，我们也比较容易看到在具体的应用中间，风险到底是放大了还是缩小了。在现代社会体系下，任何风险被放大的情况，包括早期技术风险被放大的情况，我觉得都是不会被容忍进入到生产和使用环节的。但是，作为安全的从业人员，对于具体的安全问题，其实是不可计算的，因为所谓风险，其实就是意外，这些意外本质上都是由人造成的，都是人在我们的代码中、模型中，或者在我们的数据选择中出现的失误所造成的。既然是失误，在具体问题中就很难被预测。所以，在保持大范围地认为风险可计算、可预测的前提下，我们看到的总体还是技术人员的观点，这是乐观的。但是到特别具体的问题时，还是需要非常谨慎，而且要有敬畏心。从这么多年的从业经验来看，任何曾经在编码中认为这个事情概率太小不会出现的情况，一旦到了用户侧，这个问题就一定会出现，所以要以敬畏心认真对待每一个可能出现的小概率风险。
@沈超
虽然从经济学角度讲，在有数据支持的情况下它是可测的；但从人文角度来看，它的随机性比较强。
首先，风险是某种特定的危险或者意外的事件，这种事件发生的可能性是风险。其次，事件发生之后所产生的后果，应该是这两个因素的组合：一个是危险或者意外发生的可能性，我们就可以讲风险概率或者意外的概率，或者是所谓的“危险概率”；另一个主要是指该事件发生的后果。如果从机器学习角度来看，由于机器学习本身是一种数据分析的方法，或者模型的东西比较多，其中有大量不确定的问题，如不确定性建模的问题；如果从技术角度来看的话，所谓的风险、意外事件的发生，在有足够数据量的前提下是可以算出一个概率值的。而概率值都有一个区间，如果这个值的确定区间可以很大，区间非常宽，说明风险鲁棒性很差；但是如果区间比较窄，说明它的可行性很差。但是要注意到，所有风险都有很明显的随机性，虽然从经济学角度讲，在有数据支持的情况下它是可测的；但从人文角度来看，它的随机性是比较强的。很多小概率事件最后变成现实，因为安全事件一旦发生，就会产生很大的危害，且危害性很强。所以风险是由发生的可能和产生的后果组合而成的。
@漆远
我们有已知的已知，已知的未知，我们更有未知的未知。要敬畏不知道的“不知道”，因为知道的不确定性相对还是好治理的。
一般风险估算包含两个方面：一个是风险发生的概率；一个是风险的后果，两个的乘积就是风险的一个估计。风险概率如果不容易刻画，可以考虑贝叶斯机器学习里面有一个非参数化方法，其实是“概率上的概率”，是指在概率之上面再加一层概率，在不确定性上再加上一层不确定性。翻译成通俗的话，如果说概率是对不确定性的刻画，概率上的概率就是对不确定性（未知）的不确定性（未知）的刻画。学习知道的不确定性相对还是容易的，但学习好一个非参数模型却难很多。从人文视角来讲，对不知道的不知道保持谦恭是一种敬畏之心。在新的领域里数据和知识可能比较少，在这种情况下，我们要充分敬畏未知的“未知”，或者贝克所讲的“不知道”（not-knowing），这可能是非常重要的。
议题三：第一，面对非常复杂的环境，或者新场景，如果缺乏数据的情况下，怎样才能较好地找到决策的分界线？第二，如果风险后果无法赔偿，慢慢转变成系统化风险，如何更好地控制或者规避风险？
@沈超
把人文知识和数据相结合，以表达和描述业务系统，这对解决现实中不确定性较强的问题是非常有希望的。
我非常认同人文知识和机器原理的融合，从数据层面到机器层面，两者的有效融合能够解决很多较大问题。因为从技术角度去看，系统在行业中的应用有两种方法：一种通过数据堆模型实现，比如拉动比较高的模型，数据只要足够多、且真实可靠，就能把模型堆得很好，但问题在于现在往往处于对抗的环境，数据还存在不可信的问题。在2015年之前，人们对数据的不可信的关注其实并不多，我们很少谈论“对抗性数据”的问题；而2015年之后，随着造假技术越来越真，“对抗性数据”被越来越多地提及。因此，将对机器的研究与人类知识的结合就显得很重要。如果对一个系统进行物理建模，给它一个确定的形势，比如“ER方程”或者是3R场景来描述这个物理系统，只需将数据与其物理系统机理结合就行，因为物理机理对其有一定约束。但是如果让系统完成，在同样的情况下，在零差异的过程中，这项系统的机理确实很难描述，无法利用牛顿方程或者高斯方程、万有引力定理进行指引。由此采取的解决方式就是将数据和机理融合到一起，有数据和机理的支撑更易于理解，把人文知识和数据结合到一起以表达和描述业务系统，这对解决现实中不确定性较强的问题是非常有希望的。
@马杰
从技术角度来讲这是好事——人类通过算力的“暴力”，在某个领域中认清了这件事情，知道了它的最大边界和可能性。
联想到“AlphaGo”及“AlphaZero”，早期人们一定会借鉴或者凝练人类的知识，但是随着对问题的了解越来越深入，当问题的边界和规则被人类探索得比较清楚时，就完全可能用机器“暴力”探索问题里的分支，从而相对人类来讲得出一个远远更优的解。虽然在具体问题中，我们把围棋艺术变成了技术是一件很悲伤的事情，但是从技术角度来讲这是好事——人类通过算力的“暴力”，在某个领域中认清了这件事情，知道了它的最大边界和可能性。同样，现在很多人工智能，比如自动驾驶、自然语言处理，它们非常复杂，以至于现在还无法将其边界探索清楚，其中的规则也无法枚举清楚。但是存在这样的可能性——随着对它的研究，最终可以比较粗暴地用计算机的算力“暴力”来探索里面所有的路径和可能性。比如在自动驾驶中，我们在真实生活里没有办法对大量的路况进行实验，既收集不到这样的数据，也没有办法去实测这些危险的情况，尽管大家会尽可能地测试，但是还有很多非常复杂的组合不可能测试到位。比如在Fuzzing技术中，我们把天气、驾驶、光线、意外出现的障碍物等各种复杂的情况都放在一起，以探索算力边界以及可能出现的复杂情况，以探索现实中永远不可能发生、说不定在未来某一个极端情况下就可能出现的小概率事件。在这种情况下，如果我们有计算及预演的推演方式，也许就可以避免那一次极小概率的事故，其实技术是可以帮助我们解决问题的。从一个计算机从业人员的乐观角度来看，当人们对某事情的边界了解得更清楚后，我们可以通过算法和算力的能力进行更好地探索，我认为存在这一天，我希望它到来，但不会太快。
@漆远
超越今天的深度学习，把知识推理的能力，即人类的知识推理能力和基于数据的深度学习能力结合起来，这可能是人工智能发展的大方向，这个结合也会增强AI对风险的控制能力。
一方面，传统风控系统中要大量使用专家知识经验，如果没有定时定期系统化地回溯系统中积累的成千上万的知识、规则和逻辑推理，这个日益复杂的系统将会因为专家们的调离而越来越无法解释，发生了的或者潜在的系统的风险就越来越难以控制。但是从另一方面来讲，深度学习算法，不管是DNN还是Transformers，某种角度而言都是一个记忆体，需要较多的训练数据才能做出较好的预测。在缺乏训练样本时和不少极端情况下（corner cases）深度学习还不能比较好地预测。一种处理方法是，通过智能自攻击方法产生更多的数据打好这个补丁；另外一种方法是利用人类的知识，比较好地弥补训练数据不能覆盖的Corner case的情况。今天人工智能面临的挑战之一是推理能力——在数据较少的情况下如何做好推理。这是人类非常擅长的一件事情，而对于机器深度学习则是非常有挑战的。从某种角度上说，这种方向本身也是人工智能发展的一个方向，超越今天的深度学习，把知识推理的能力和基于数据的深度学习能力结合起来，这有可能既是AI技术发展的大方向，也会对风险控制非常有帮助。
@黄剑波
无论是数据专业训练当中还是实业当中，我们的数据公司应当有意识地更多纳入社会科学、人文科学的学生或学者。
对做数据科学以及在AI行业中的专家或者是实业者来说，应当思考如何将数据开发、建模和理解人类知识更好地结合。有的人类知识确实需要被抛弃，因为是错误的知识，很多时候不是简单的更新和取代，其实人类的知识本身也有更新的，但在很大程度上有的人类知识只是换了一个术语、一个概念而已。从这个意义来讲，日光之下并没有那么多的心事，所以所谓的根本性人类知识可能一直在那里。我的一个建议是，无论是数据专业训练当中还是实业当中，我们的数据公司应当有意识地更多纳入社会科学、人文科学的学生或学者。
@汪庆华
人类的情感、甚至情绪的无言自知和计算机的完全理性，建立在数据、建模、算力基础之上，形成了理性知识的结合，会形成人类新的知识形态。
人类的理性本身是有限度的，我们肯定会面临很多无法预测的非常复杂的情景，这块也许会存在着人类的理性不足和计算机完全的理性结合，它会产生一种前所未有的新方案（scenario），这是科技发展带给我们前所未有的空间。人要认识到自己的限度，人类的情感、甚至情绪的无言自知和计算机的完全理性，建立在数据、建模、算力基础之上，形成了理性知识的结合，会形成人类新的知识形态。
议题四：当一辆自动驾驶的汽车撞到行人时，谁应该被认为是合法的责任主体？是人工智能？还是车主？还是制造商？还是工程师？
@汪庆华
法律体系要给整个AI技术的发展一个广阔的空间，法律界的共识是：一是在目前的技术条件下以驾驶人为中心；二是汽车制造商会逐渐承担一定的责任。人工智能还没有办法成为法律的主体，因为它没有办法思考，也没有办法理解数据地输入与输出。人工智能发生事故，可能是数据本身的问题，而数据本身是有社会偏见的，不能把社会偏见带来的不利后果让具体的设计人员承担。
这个问题要区分自动驾驶发展到了什么阶段，我们现在处于辅助驾驶阶段，基本上沿用传统的侵权责任规则模式。侵权责任的规则模式以驾驶人为中心，在议题假设的场景当中，驾驶员是否及时接管了汽车非常重要，如果在应该接管时没有接管，可能要负最主要的责任。
目前在法律界，大家会有几点共识：一是在目前的技术条件下以驾驶人为中心；二是汽车制造商会逐渐承担一定的责任，目前来看，汽车制造商除了传统意义上的产品责任之外，可能还要承担定的事故责任。当然，技术条件到了L3甚至L4阶段，可能规则模式也会发生一定的变化，汽车制造商承担的责任比例可能会更高一些。而到最后，如果人工智能算法部署之后出现问题，是否要对设计人员追责，还是直接让AI本身或者算法本身承担责任，把AI或算法销毁，这其实也是法律上讨论的一个非常热的问题。目前大家的共识是，人工智能还没有办法成为法律的主体，因为人工智能仍然是法律的客体，它没有办法思考，也没有办法理解数据地输入与输出。人工智能发生事故，可能是数据本身的问题，而数据本身是有社会偏见的，所以就是偏见性——“bias in，bias out”，偏见（bias）其实是一种社会偏见（Social bias），不能把社会偏见带来的不利后果让具体的设计人员承担。
世界各国基于人工智能的发展，发现了一些问题、确立了一些原则，比如欧盟的个人数据保护通则中明确规定了设计隐私。文科生需要向理科生、向世界顶尖科学家学习，可能我们的程序员、工程人员也需要学习法律知识，可能要把一些基本的价值观、一些具体的理念，通过法律原则的形式将其落实。就设计隐私的观念而言，设计人员进行算法建模时需要以隐私保护作为原则对待，不是以商业化的利益最大化作为追求的目标。在算法的设计阶段，如果设计人员已经尽了法律上最基本的合规义务，而且还有这种情怀的话，一旦这个人员出了问题，不能追究设计人员的责任，法律体系要给整个AI技术的发展一个广阔的空间。
我有一些问题：自动驾驶一旦从L2阶段跃升到L3阶段，从辅助到有条件的完全自动驾驶，是否意味着我们已经从一种弱人工智能的阶段跃迁到了强人工智能的阶段？单一的人工智能现在基本是封闭的环境下，如果实现了完全的自动驾驶，是不是意味着它已经是一个动态的、需要自主的样态？这时候带来的变革确实是革命性的，我们如何看待这样一种可能的跃迁？比如vivo的训练现在是981万公里，它有L4阶段的训练，有研究指出，如果要实现量产以商业化运营，可能要达到111亿英里，可能我们离真正的完全自动化还有一段路程，但是这种前景是非常广阔的，它给我们带来的技术上的挑战怎么去看待？
@马杰
国家和法律的考虑必然会鼓励技术的发展，但是不仅鼓励是保护，约束也是保护。
我认为目前阶段我们尚无法实现全自动驾驶、实现强人工智能。虽然很复杂，但它还是一个相对封闭的问题，只是需要被枚举的场景过多，交叉的参数过多，但还是一个单一领域的问题。在一个单一领域里，它有比较清晰的规则，比如前面有物体，宁可不撞。虽然不像围棋这样有绝对情形的规则，但还是能找到一个相对的边界，所以这还不能算强人工智能。
在法律维度上，我作为一个码农，非常不希望程序员被抓去坐牢。国家和法律的考虑必然会鼓励技术的发展，但是在这个过程中，该有的合规、该有的敬畏心是一定要有的。这对于中国而言，是一个非常好的机会，我们在立法到试点，到最后法律真正立出来，可能会有一个相对比较快的进展。各种专家快速推进的本身是对这个产业最大的保护，不仅鼓励是保护，约束也是保护。如果未来拥有一个比较完整的法律框架，大家充分的做好该做的合规事情之后，如果还不幸产生了一些问题，是可以界定责任的。但是，大型企业有足够的技术人员和法律资源做好合规，但对于更小的创业者是否会带来业务培训负担，如果没有足够的资源完成合规，是不是会影响在这个领域的创业？这也是我们没有想清楚的问题。总体上来讲，我觉得这样的问题背后往往蕴藏着机会，人类现在面临的一个最大的问题，其实也是一个最大的机会。
@黄剑波
从科技的问题回到人类社会的问题，其实是很现实的——我们如何去理解这些不完美、不够强壮的人，历史上存在，现在存在、将来一定会存在的具有各种缺陷的人。
关于法律问题谁该负责的问题，这是是权利与责任如何适配的问题。换句话说，人工智能也好，任何新技术也好，这里面谁掌握了资源、谁是最大能力的掌握者，那他应该有相应的责任分配。阿尔法狗的例子非常精彩，过去一些年看到，AI在某一个单一领域看到一个巨大的突破，但这不仅所谓的机器战胜人的问题，某种意义上讲是取代人。进一步反向思考，鼓励甚至达到一种可能性，就是少犯错甚至不犯错，在AI领域中我们要做这种努力。但是，如果回到人的问题时就会比较麻烦，人不允许犯错，AI本身情感的维度可能是个难点。如果人在设计上就已经没有犯错的可能，那它还是不是我们一般意义上的人或者完整意义上的人，还是说它已经经过某种进化，无论是AI的方式还是任何的Enhancement，变成了一种所谓的“人性+”（Humanity plus）；还是某种意义上讲它被退化，因为它具有某种机器性，退化回“人性-”（Humanity Minus），所以无论是Plus还是Minus，对我们传统的人应当如何界定，其实都是一个挑战和问题。
从科技的问题回到人类社会的问题，其实是很现实的——我们如何去理解这些不完美、不够强壮的人。现在假定的人是一种完美的状态，是有竞争能力的，可以参与各种创造性工作。但问题在于，历史上存在，现在存在、将来一定会存在的具有各种缺陷的人。举两个最极端的案例：比如现在越来越常见的老年人的失忆症，失忆症到一定程度，不光对世界无法认知，连自己是谁都不知道，还是我们说的人或者完整意义上的人吗？更极端的例子是所谓的植物人。这些人如果按照我们说的，在设计上把人设计成为一个完整的、不可以犯错的人的话，其实就带来一个问题，我们怎么理解他们、甚至怎么处置他们，当然已经超出技术问题，更不是AI的问题。当我们思考这些问题时会发现，它的难度或者是维度远远比当下的现代问题或者是技术问题更加复杂，更加值得我们去探索。
@漆远
相信在将来在更多的决策中会把情感和价值观融合起来。
20多年前麻省理工媒体实验室在全世界首先开始了情感计算的研究，拉开了人工智能情感计算的序幕。用人工智能来分析理解情感，不是对情感做好和坏的判断，而是通过识别和理解人的情感和意图，让机器更加智能更加人性化。往深里讲，这可能已经超出了计算本身。在著名的《Thinking：Fast and Slow》(快思考、慢思考)一书里面，讲到快思考背后，人类可以快速做出决策 – 可能背后依赖直觉，情感及经验和记忆。情感可以帮助人来快速做决策，大量节省计算资源。比如人类在看到一个老虎后因为恐惧而本能地逃跑，并不会分析老虎有多危险，是一种本能保护能力。但是慢思考对应的能力是大量的分析、推理和计算，很消耗能源。情感计算在过去20年有非常大的发展，相信在将来，在更多的决策中会把情感和价值观的判断融合起来。
另外，从人类价值观或者从美学角度来看，是存在“不完美”的美，就像茶道里的侘寂。这个很有意思，但是超出了今天人工智能的范围，这一点上我们以后有机会可以进行更深入地讨论。
议题五：在自动驾驶、金融场景、信息服务等众多领域中，如何利用人工智能控制风险？
@汪庆华
科学可以给我们提供的一个维度，AI的赋能能够给社会带来广泛而全面的积极意义。
在中国的刑事犯罪当中，大概六分之一的刑事案件和一个罪名有关——就是醉驾，因醉驾而被判刑的大概有30万人，这是非常庞大的数字。就自动驾驶而言，我们利用AI去控制风险，科学可以给我们提供的一个维度。由于自动驾驶现在还是在辅助驾驶阶段，所以在驾驶位置上是有司机的。如果技术设置了自动检测效果，当它检测出驾驶员酒精含量超标时，就不能启动发动机，这就是对人类社会非常大的贡献。每年30万人因为醉驾而锒铛入狱，会影响多少的家庭，所以AI的赋能能够给社会带来广泛而全面的积极意义。当技术更进一步的比较时，会涉及不完美的美，对于社会公平有非常重要的作用，因为现在整个交通法律法规的体系建立在驾驶员的行为规制基础上，所以对驾驶员的要求很多。在技术的发展下，可能无法申请驾照的人可以成为自动驾驶的驾驶员或者保有人，所以自动驾驶是完全颠覆了我们对传统汽车的概念，这也是为什么需要结合社会所有的智力，各方面的智力，包括产业界、科学家、人类学家、法学家一起来探讨，因为它带来的确实是一种革命性的变革，目前对于它赋能的一面仍然是较为显性的，还有待进一步发掘。
@马杰
AI一定会给我们带来更多有趣的和美好的体验，只是说我们怎么样管理好它的风险。
以自动驾驶为例，由于各种身体上的限制，很多人是无法享受驾驶的乐趣的。我们可以想象一个更极端的情况，如果我们自身的腿脚不便，现在肯定没有机会进行驾驶。也许未来在自动驾驶的辅助下，人们可以用语音控制车，也可以体验驾驶的乐趣，这是非常让人憧憬的事情。所以，AI一定会给我们带来更多有趣的和美好的体验，只是说我们怎么样管理好它的风险。
@沈超
AI的风险可能来自于几类：数据、技术层面或AI系统的挑战、安全的挑战。如果要通过AI来控制风险，需要在这三个层面进行开展，我也看到很多科学家，包括研究员、包括公司的、企业的、高校的，都在这几个领域深耕。
议题六：人工智能做到可信、可靠、可解释，才能更好的避免人工智能带来的风险问题。但人工智能如果真正能做到可信、可靠，鲁棒性，可解释，人类还有多长的路要走？
@沈超
深度学习存在学习的不完备性、机器学习方法的不可解释性、机器学习方法的测试问题等特征，因此对于可解释的、可信的人工智能，路还有点远。
从技术来讲，对于可解释的、可信的人工智能，我觉得路还有点远。当前大部分的人工智能以深度学习为主要领派，因为深度学习用得比较多。但是深度学习本身有很多特点：
其一，学习的不完备性。因为深度学习需要大量可信的样本来驱动，现在对于可信样本的甄别的技术还远不够成熟。所以，由数据的可信要延伸到学习的完备，而由于数据的不完备性，学习的完备本身就比较难以保证，比如在围棋的规则之下，边界比较明显，可以把它做得较为完备以达到较好的效果。但是在社会中，不确定性边界的问题非常多，由于AI应用领域非常广，在很多领域的不确定性边界其实很难界定。因此，在这样的情况下，确实很难保证学习的完备性。
其二，机器学习方法的不可解释性。从技术角度来看，工作中用的大规模的训练模型和预训练模型数量必不可少。但是对于这样的模型，差异太大，很难去用任何样本遍列出所有的路径，有非常多层。它本身就是一个黑盒，一个系统，对它都是一知半解，对它现在的解释和方法还是非常有限的。
其三，机器学习方法的测试问题。机器学习方法的测试在于传统的系统测试方法，软件系统升级之前要做测试，投入市场前要做测试，但是针对于智能的测试，基本是刚刚起步。评价智能的好坏地主要依据是性能好，但是如果从各个角度去看，还包括功能性、鲁棒性、可靠性、可用性，这都是评价AI好坏的标准，然而对这些方法的测试基本上刚刚起步。面向智能的这三类问题，确实还需要业界、高校，包括人文方面有更多的关注和投入，才能让AI更加鲁棒、更加智能、更加可信地往前发展。这一天肯定会到来，但凭我们现在的技术体系还无法预测。
@马杰
1.鲁棒性最大的意义在于，人类经验可能是不完全准确的，鲁棒性要做的事情是真正找到每一个模型，明确它的上界和下界，以判断系统是否适合做决策。2.可解释性是很重要，但是不是每件事情都是可解释的。
我对鲁棒性的问题稍微乐观一点，虽然现在鲁棒性的研究并不成熟，但是很多团队都在做这件事情。鲁棒性最大的意义在于，人类经验可能是不完全准确的，特别是应用和人工智能相结合之后，我们直觉的认为在黑夜中开车风险更大，但实际上在自动驾驶系统中并不一定，可能在非常好的光照环境下可能也会出现问题。所以，鲁棒性要做的事情是真正找到每一个模型，比如目标识别模型，或者是道路保持模型，这个模型在各种各样干扰情况下，明确它的上界和下界。我们找到它最远的两边的边界，这样可以反过来推，在某一个情况下，系统可以自己判断，在这个时候因为光照或者因为风霜雨雪造成的影响，它已经不适合再做出决策了。鲁棒性研究是一个非常重要的事情，但真正工业团队去做的时候会非常快，所以我对它还是保持乐观。
对于可解释性问题，回到“AlphaGo Zero”的问题上，“AlphaGo Zero”没有用任何人类的知识，完全从第一步开始自己和自己左右互搏，从最愚蠢的错误和招数开始试，最后试出非常精妙的，甚至战胜人类顶尖高手的算法模型。即便在围棋这样相对简单且规则清晰的系统里，已经有很多的计算机所使用的招数是人类所没有办法想出来的。现在围棋界也反过来研究，“AlphaGo Zero”里面的一些开局、中间的一些招数，人类可能自古以来在这些知名的棋局上都没有出现过这样的应对方法。所以，可解释性是很重要，但是不是每件事情都是可解释的，也许在不可解释的里面也存在非常大的空间，里面的空间有不安全性，但未来也有很大的扩展空间，这是机器学习有可能帮助人类去扩展认知领域的可能性。所以，对可解释性的研究一定会有很大收获，但我们并不指望所有的东西都是可解释的。
@汪庆华
1.核心问题在于，怎么样去恢复自己对于一些事物最终的控制权利、如何去恢复人的自主性。2. 法律的大坝约束越高，反而不一定有利于初创企业的发展。如果初创企业在合规的起点就非常高的话，会形成自己的市场优势，这种市场优势可能在某种意义上未必能够替代。
可解释在法学界的讨论比较热烈，可能我们本身对可靠性、鲁棒性不是特别的熟悉。大家目前的共识是，人工智能在很多领域代替了人的决策，我们直接面对算法决策给出的后果，如何去恢复人的自主性，在法律规制上，算法怎么样可以透明，包括今天讨论的可解释性，其实是实现算法透明的一种路径。对于可解释性的解释，它做出的解释是顶尖一流的科学家能够理解的这样一个解释，还是对于能够理解的专业人员作出说明，还是一般的社会大众，解释面向专业人员的还是面向一般人员，目前世界各国的立法并没有统一的回应。但核心问题在于，怎么样去恢复自己对于一些事物最终的控制权利。其实可解释性也会涉及合规的问题，最近《个人信息保护法》草案已经二审，其中关于个人信息处理的可解释的要求，大家仍然在讨论是否需要一个更进一步的指引，告诉企业这是什么意义上的可解释。有的国家要求披露一下数据来源，因为如果数据有偏见，决策就可能有问题。是不是要报备一下算法的参数，因为参数是动态的，它可能不停的动态调整。还有一种观点质疑参数是否应当向社会公开，使其变成开源的模式，如果被黑客恶意利用又将如何应对。还有最极端的，就是要公开源代码，在法学界、理论界有很多的讨论，当然目前立法里有报备参数、向社会公布参数的规定，这仍然是一个开放性的问题。
法律的大坝约束越高，反而不一定有利于初创企业的发展，因为平台企业有相应的合规要求，而且队伍非常强大，国内一流甚至是国际一流的团队能够支付这个对价。但是对于初创企业来说，意味着今后的法律地位，这个问题确实存在。当然平台企业也可以开发出新的业务，如“Regulation as a Service”，也可以利用这个给初创企业赋能。这其中一个面向，另外一个面向是：在数据合规、个人隐私保护、个人信息处理，企业如果做得好，从一开始在这个行业领先，这会转化为核心竞争力。企业的声誉在互联网市场是非常重要的，如果初创企业在合规的起点就非常高的话，会形成自己的市场优势，这种市场优势可能在某种意义上未必能够替代。
@黄剑波
总体上的乐观，是谨慎的乐观，是怀疑式的拥抱。我们需要对人进行限约，对可能的恶保持警惕，但同时对人的能力、创造性以及可能达到的善保持期待。
如果把目标设定在一个绝对的、根本性的，要寻找一个所谓的可信可靠可解释的方案，我自己觉得持一定的怀疑，因为可能永远无法达到，甚至某种意义上走错了方向。但是如果把目标设定是一个更加可信、更加可靠、更加可以解释，其实我们已经在路上了。我们已经开始，而且我觉得其实已经取得了诸多成就。具体还要多久才能达到，在路上就谈不到最终的目标。我的观点可能很容易被人理解成为是一种悲观主义，但我认为是总体上的乐观，是谨慎的乐观，是怀疑式的拥抱。我始终觉得，我们需要对人进行限约，对可能的恶保持警惕，但同时我们对人的能力、创造性以及可能达到的善保持期待。
@漆远
没有最好的模型，只有比较好的模型。总是在递进的学习中靠近真相。
期待最好的结果，做好最坏的打算（hoping for the best，expecting the worst）。其实和做机器学习非常神似，文科生和理科生有神似的地方，也许所有的模型都是错的，所有对世界模型的假设都是错的，因为真相在递进中、学习中被重新认识。没有最好的模型，只有比较好的模型，我们都是为了找到更好的模型。
说到AI的可信可靠可解释，这些方向将会越来越重要，成为非常关键的主要技术方向。例如可解释性在金融场景里面非常关键，首先是合规，还包括风控。比如发生欺诈的情况后，我们会分析：黑产为什么会用这个欺诈方式、用户为什么会被骗、背后的逻辑是什么；我们还会想怎么能够把这个欺诈提前识别出来，更重要的为什么一个新发生的“黑产事件”会突破现在的反欺诈保护，这就需要寻求可解释性。这非常有意思，一方面人类在思考分析，机器也在自动学习往前演进。需要考量如何能把这两个方面——人的知识和机器智能结合起来，做出更好的一种对抗智能、鲁棒智能。现实里可能很难找到完美的解释，但可以在这个方向上多努力。
从技术角度来讲，可解释性可以划分很多层次：一是对数据特征的解释，就是解释哪个特征多大程度上影响了结果，另外是不是一个有偏见的特征；二是对参数的解释，在上亿的参数情况下如何解释参数，尤其在非线性模型中，其实非常有挑战—局部线性化是一个思路但是不够；三是对模型结果的解释，使模型的结果让人理解。可解释性是很好的方向，但也是一个有挑战的方向。不管是可信、可靠，我们仍在探索，未来的路还非常长。
观众提问
@马杰
AI可以从两个角度考虑预防黑客，一个是拥有更大的算力，二是拥有自己的模型。解决这些安全问题的挑战是信息量的爆炸，从安全人员的视角看来，日志就像山一样压过来，很容易从中间遗漏某条日志，而这一条日志或者一个小的预警事件可能非常关键。一次好的入侵，可能仅给你一次发现它的机会。所以，对机器学习或者深度学习来讲，我们可以用AI来帮我们在海量的日志中筛选出这一条非常关键性的日志，让人不要因为疲劳，不要因为每天盯着屏幕，眼睛闪了一下就错过它了，在海量的日志中筛选出最关键性的，这是非常重要的一个点。因为模型可以接受做大规模参数，所以把以往大量的攻击所形成的记录去做训练，它从中可以发现出一些人所不擅长发现的逻辑。虽然现在在模型中的可解释性还没有解释到这部分，但是可能是实实在在可以帮我们发现在这中间某一些复杂参数组合之后，我们可以发现这中间确实存在风险。从算力和模型的角度来讲，人工智能都可以帮助我们去发现这些黑客或者说安全的事件。
@沈超
我觉得这个命题叫做如何利用AI预防或者预警黑客，首先需要搞清楚，黑客是怎么干事儿的，现在的黑客已经不是原来的黑客了。技术在发展，黑客也在学习，现在黑客也会用自动化、人工智能的手段让攻击变得更加有效。举个简单的例子，黑客会学习AI中的漏洞，利用AI中存在的风险发动攻击。黑客会利用数据降维中存在的漏洞，比如利用Siri在不同频率段对信号显示不同，面向Siri进行云的攻击。同时还会利用一些自动化的手段，比如原先在系统探测渗透时找到系统条件中最薄弱的环节，然后把这个桥打断。现在黑客可能用自动化手段做一些脚本，让脚本去跑比自己翻的效率要高，并且可以同时翻多个网站、多个域名，这两年利用自动化AI的方法去做攻击的例子越来越多，原来人为去做，可能只能做几千个网站，几万个域名，但可以全网去做，不仅仅只是扫描域名所有的漏洞，甚至可以做更深层次的渗透。这都是现在所谓的黑客用得手段。
反过来看，如何用AI来防范和预警黑客，这是道高一尺魔高一丈的事情，很难说有一套方法能把黑客全部防住，这是不可能的，因为黑产市场的利益链非常大。但是AI的优势在于什么？我认为有两点：第一，AI是具备自我训练和检测的手段，它可以在大数据堆积的基础之上，对原来很多的历史数据进行聚集和汇合，可以对以往或现有的网络平台、网络层的攻击方式进行有效预防，以此提高攻击的门槛。第二，AI可以是一种集中的方法，从防御手段来讲，我们希望安全防御可以是矩阵式的，通过多层的防御模式实现。比如多因子印证，综合各种方式将多种机器学习的手段都放在一起，构建一个全方位的防御手段。但是，这个全方位只是人能想到的全方位，因为黑客的攻击往往就是一击必中，针对一个特定的点一击致命。
主持嘉宾：漆远
主讲嘉宾、讨论嘉宾：汪庆华、黄剑波、马杰、沈超
文字整理：卞哲、蒋礼、未来论坛 | 排版：未来论坛、神经现实-光影
延伸阅读
点击下方
关注未来论坛
关注未来论坛
一个承载人类科技梦想
用科学改变未来的公益平台
一个连接前沿科技
解读未来趋势的思想平台